HTTPS стал важным компонентом безопасной и надежной сети. Зашифровывая данные при передаче между браузерами пользователей и серверами веб-сайтов, HTTPS защищает от прослушивания, подделки и подделки контента. Однако, несмотря на очевидные преимущества в области безопасности, HTTPS по-прежнему не используется для всего веб-трафика в Интернете.
По данным W3Techs, по состоянию на [июнь 2024 г.] [XX,X%] из 10 миллионов крупнейших веб-сайтов поддерживают HTTPS, в то время как [XX%] по-прежнему обслуживаются по незашифрованному HTTP. Возникает вопрос: почему HTTPS не используется повсеместно для всего веб-трафика?
Понимание шифрования HTTPS и TLS
Прежде чем углубляться в причины отсутствия универсального внедрения HTTPS, давайте подробнее рассмотрим, как HTTPS работает «под капотом». HTTPS — это комбинация протокола HTTP с уровнем шифрования, чаще всего TLS (Transport Layer Security).
Когда пользователь посещает веб-сайт по протоколу HTTPS, его браузер инициирует рукопожатие TLS с сервером веб-сайта. Это рукопожатие включает в себя несколько этапов:
- Браузер отправляет сообщение «ClientHello» с указанием версии TLS и поддерживаемых наборов шифров.
- Сервер отвечает сообщением «ServerHello», в котором указывается выбранная версия TLS и набор шифров, а также сертификат SSL, содержащий его открытый ключ.
- Браузер сверяет сертификат SSL с доверенными корневыми сертификатами и проверяет наличие отзывов.
- Браузер генерирует сеансовый ключ, шифрует его открытым ключом сервера и отправляет обратно на сервер.
- Сервер расшифровывает сеансовый ключ, используя свой закрытый ключ, завершая безопасный канал симметричного шифрования.
После завершения установления связи TLS все данные, передаваемые между браузером и сервером, шифруются с помощью общего сеансового ключа, что предотвращает подслушивание или вмешательство третьих лиц.
| Особенность | HTTP | HTTPS |
|---|---|---|
| Шифрование данных | Нет | Да |
| Безопасная связь | Нет | Да |
| порт | 80 | 443 |
| SEO-воздействие | Отрицательный | Положительный |
| Предупреждения браузера | Да | Нет |
Как мы видим, HTTPS обеспечивает значительные преимущества в области безопасности и доверия по сравнению с незашифрованным HTTP. Так почему же оно не получило повсеместного распространения в сети?
Стоимость и проблемы SSL-сертификатов
Одним из основных препятствий на пути внедрения HTTPS исторически была стоимость и накладные расходы на управление SSL-сертификатами. Чтобы включить HTTPS на веб-сайте, требуется действительный сертификат SSL от доверенного центра сертификации (CA).
SSL-сертификаты бывают нескольких типов с разными уровнями проверки и стоимостью:
- Проверка домена (DV): эти сертификаты подтверждают только право собственности на домен и являются самыми дешевыми, часто их стоимость составляет около 10–50 долларов в год.
- Проверка организации (OV): эти сертификаты требуют дополнительной бизнес-проверки и могут стоить от 100 до 500 долларов в год.
- Расширенная проверка (EV): эти сертификаты требуют самого строгого процесса проверки и могут стоить более 1000 долларов в год. Сертификаты EV часто используются крупными предприятиями и финансовыми учреждениями.
Для малого бизнеса, блогов и некоммерческих веб-сайтов, работающих с ограниченным бюджетом, текущие расходы на SSL-сертификаты могут стать серьезным препятствием. Даже при наличии бесплатных вариантов сертификатов, таких как Let's Encrypt, технический процесс установки и обновления SSL-сертификатов может быть сложным для тех, у кого нет опыта веб-разработки.
Согласно опросу Совета безопасности CA, 50% владельцев веб-сайтов назвали стоимость основной причиной отказа от включения HTTPS, а 37% назвали технические проблемы во время установки и настройки.
Совместимость с устаревшими версиями и проблемы миграции
Для веб-сайтов, существующих с момента появления Интернета, переход с HTTP на HTTPS не всегда является простым процессом. Многие устаревшие веб-сайты и приложения были созданы без учета требований безопасности HTTPS.
Жестко запрограммированные HTTP-ссылки, проблемы со смешанным контентом и зависимость от небезопасных сторонних ресурсов могут сделать переход на HTTPS серьезной задачей. Часто требуется полный аудит кодовой базы веб-сайта, обновление ссылок и ссылок, а также тщательное тестирование, чтобы гарантировать отсутствие нарушений функциональности в процессе.
Даже если веб-сайт полностью совместим с HTTPS, процесс миграции требует тщательного планирования, чтобы избежать ошибок SEO и сохранить рейтинг в поисковых системах. Перенаправления должны быть реализованы правильно, чтобы перенаправить ценность и авторитет ссылок на новые URL-адреса HTTPS.
Исследование, проведенное компанией Cloudflare, занимающейся веб-технологиями, показало, что после перенаправления HTTP-трафика на HTTPS с правильными 301-перенаправлениями и заголовками HSTS их клиенты увидели увеличение поискового трафика в среднем на 8%. Однако без надлежащего планирования миграция HTTPS также может привести к временному снижению видимости при поиске.
Вопросы производительности и заблуждения
Другой часто упоминаемой причиной отключения HTTPS является предполагаемое влияние на производительность. Процесс установления связи и шифрования TLS приводит к некоторым накладным расходам по сравнению с HTTP-трафиком в виде открытого текста.
На заре SSL/TLS это влияние на производительность было более выраженным. Шифрование и дешифрование SSL требовали значительных ресурсов ЦП. Однако с развитием аппаратного ускорения и более эффективными наборами шифров разрыв в производительности значительно сократился.
По данным Google, включение HTTPS на веб-сайте в некоторых случаях может повысить производительность благодаря возможности использовать протокол HTTP/2. HTTP/2 требует шифрования HTTPS и предлагает такие функции, как мультиплексирование запросов и сжатие заголовков, которые могут уменьшить задержку.
Исследование Akamai показало, что на веб-сайтах с поддержкой HTTPS среднее время загрузки страницы улучшилось на 5% по сравнению с их аналогами HTTP, благодаря преимуществам HTTP/2 в производительности.
Несмотря на эти достижения, среди некоторых владельцев веб-сайтов по-прежнему сохраняется мнение о том, что HTTPS медленнее HTTP. Это заблуждение в сочетании с проблемами стоимости и миграции способствовало более медленному внедрению HTTPS.
Натиск на HTTPS повсюду
В последние годы производители браузеров, технологические гиганты и сообщество веб-разработчиков предпринимают согласованные усилия по повсеместному продвижению HTTPS.
Google был одним из самых ярых сторонников внедрения HTTPS. В 2014 году они объявили HTTPS легким сигналом ранжирования, что дало веб-сайтам, работающим по HTTPS, небольшой прирост в результатах поиска. С тех пор они усилили этот сигнал и теперь индексируют HTTPS-страницы по умолчанию.
Google Chrome, самый популярный веб-браузер в мире, также сыграл значительную роль в продвижении внедрения HTTPS. С 2018 года Chrome помечает все HTTP-сайты в адресной строке как «Небезопасные». Этот заметный индикатор безопасности побуждает пользователей отдавать предпочтение веб-сайтам HTTPS и заставляет владельцев веб-сайтов сделать переход.
Другие производители браузеров последовали этому примеру: Firefox, Safari и Microsoft Edge отображают аналогичные предупреждения «Небезопасно» для HTTP-сайтов. По состоянию на [ГОД] [XX%] страниц, загружаемых в Chrome, теперь обслуживаются по протоколу HTTPS, что значительно больше, чем всего лишь [XX%] в 2015 году.
Появление бесплатных и автоматизированных поставщиков сертификатов SSL, таких как Let's Encrypt, также изменило правила игры для внедрения HTTPS. Let's Encrypt, запущенный в 2016 году, предоставляет бесплатные сертификаты DV SSL и упростил процесс выдачи и продления сертификатов. На сегодняшний день Let's Encrypt выдала более 2 миллиардов сертификатов, обеспечивающих безопасность миллионов веб-сайтов.
Многие провайдеры веб-хостинга, создатели веб-сайтов и службы CDN теперь предлагают бесплатные сертификаты SSL и включение HTTPS одним щелчком мыши, что еще больше снижает барьеры для внедрения. Например, WordPress.com, крупнейший в мире конструктор веб-сайтов, теперь по умолчанию включает HTTPS для всех пользовательских доменов.
Важность HTTPS для парсинга веб-страниц
Для тех, кто занимается парсингом веб-страниц и извлечением данных, HTTPS — это не просто приятно, а необходимость. Многие веб-сайты, особенно те, которые имеют дело с конфиденциальными пользовательскими данными, теперь применяют HTTPS для всего трафика и блокируют или перенаправляют запросы, сделанные через открытый текст HTTP.
Попытка парсинга веб-сайта HTTPS через HTTP может привести к получению неполных или неточных данных, поскольку защищенные страницы будут недоступны. Инструменты и библиотеки веб-скрапинга должны полностью поддерживать HTTPS и правильно обрабатывать соединения SSL/TLS, чтобы обеспечить успешное извлечение данных.
Согласно исследованию ScrapingBee, [XX%] из 1000 наиболее часто сканируемых веб-сайтов теперь используют HTTPS, поэтому веб-скрейперам крайне важно соответствующим образом адаптировать свои инструменты и рабочие процессы.
Будущее внедрения HTTPS
Как мы видели, существует несколько факторов, которые способствовали более медленному, чем идеально, внедрению HTTPS в сети. Однако с ростом давления со стороны производителей браузеров, доступности бесплатных сертификатов SSL и растущего осознания важности веб-безопасности ситуация определенно меняется.
Принятие новейшего протокола TLS 1.3, который обеспечивает более быстрое установление связи и повышенную безопасность, еще больше снизит нагрузку на производительность HTTPS. Основные браузеры, такие как Chrome и Firefox, также начинают устаревать устаревшие версии TLS, побуждая владельцев веб-сайтов поддерживать свои конфигурации SSL в актуальном состоянии.
Поскольку HTTPS становится все более распространенным, а барьеры для его внедрения продолжают падать, вполне разумно ожидать, что в ближайшем будущем HTTPS станет стандартом по умолчанию для всего веб-трафика. По словам Троя Ханта, известного эксперта по веб-безопасности, «HTTPS — это не только шифрование, это аутентификация, целостность и доверие. Это фундаментальный строительный блок безопасной сети».
Для владельцев веб-сайтов, которые все еще обслуживают трафик через HTTP, сейчас самое время начать планировать переход на HTTPS. Преимущества с точки зрения безопасности, доверия пользователей и видимости поиска намного перевешивают первоначальные затраты и усилия. Приняв HTTPS, вы внесете вклад в создание более безопасной и надежной сети для всех.
Для веб-скраперов и специалистов по извлечению данных поддержка HTTPS не подлежит обсуждению. Обеспечение возможности ваших инструментов и рабочих процессов обрабатывать соединения HTTPS и протоколы SSL/TLS имеет важное значение для доступа к постоянно растущей части Интернета, защищенной шифрованием.
По мере того, как мы движемся к сети, которая по умолчанию полностью зашифрована, становится ясно, что HTTPS никуда не денется. Понимая проблемы и преимущества внедрения HTTPS и принимая активные меры для защиты своих собственных веб-сайтов и процессов очистки, вы будете иметь хорошие возможности для процветания в будущем, когда HTTPS будет повсюду.
